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Verfahren und Vorrichtung zur Steuerunq eines Graohiksys tems der 
virtuellen Realitat mittels Interaktionen 

Beschreibunq 

Die vorliegende Erfindung betrifft allgemein Graphiksysteme fOr 
Anwendungen der virtuellen Realitat (VR) und im speziellen ein Verfahren 
und eine Vorrichtung zur Steuerung eines solchen VR-Graphiksystems 
mittels Interaktionen gemaS den Oberbegriffen der jeweiligen unabhangigen 
Anspruche. 

Ein hier betroffenes VR-Graphiksystem geht bspw. aus der DE 101 25 075 
A1 hervor und dient zur Erzeugung und Darstellung einer Vielzahl von 
raumlichen Ansichten, die gemeinsam eine virtuell-raumliche 
(dreidimensionale) Szene darstellen. Die entsprechende Visualisierung elner 
solchen Szene erfolgt dabei meistens mittels stereoskopischer Projektion auf 
eine Leinwand oder dgl. Bereits relativ weit verbreitet sind sogenannte 
immersive VR-Systeme, welche eine intuitive Mensch-Maschine- 
(Benutzungs-)Schnittste(le fQr die verschiedenen Anwendungsbereiche (Fig. 
1) bilden. Die genannten Graphiksysteme binden den Anwender bzw. 
Benutzer stark in die visuelle Simulation mittels eines Computersystems ein. 
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Dieses Eintauchen des Benutzers wird als Jmmersion" oder Jmmersive 
Umgebung" bezeichnet. 

Durch die maSstabliche Darstellung dreidimensionaler Daten oder Objekte 
und die ebenfalls dreidimensionale InteraktionsfShigkeit kdnnen diese Daten 
oder Objekte weitaus besser beurteilt und erlebt werden, als es mit 
klassischen Visualisierungs- und Interaktionstechniken wie bspw. mit einem 
2D-Monitor und einer entsprechend zweidimensionalen graphischen 
Benutzungsoberflache moglich ist. So konnen in der Produktentwicklung viele 
physisch-reale Modelle und Prototypen durch virtuelle Prototypen ersetzt 
werden. Ahnliches gilt fur Planungsaufgaben bspw. im Architekturbereich. 
Auch Funktionsprototypen lassen sich in immersiven Umgebungen 
wesentlich realistischer evaluieren, als es mit den klassischen Methoden 
moglich ist. 

Die Steuerung einer solchen VR-Simulation erfolgt rechnergestutzt mittels 
geeigneter Eingabegerate (verallgemeinernd im folgenden als 
Jnteraktionsgerate" bezeichnet, da deren Funktion uber die reine 
Dateneingabe hinaus geht), die neben Tastern uber einen Lagesensor 
verfugen, mittels dessen die raumliche Position und Orientierung des 
Interaktionsgerats ebenfalls kontinuierlich gemessen werden kann, um die 
Interaktionen mit den szenisch dargestellten Daten (Szenendaten) 
auszufuhren. Ein solches Interaktionsgerat sowie eine entsprechende 
raumliche Benutzungsschnittstelle sind bspw. in der DE 101 32 243 A1 
offenbart. Das dort beschriebene handgehaltene, kabellose Interaktionsgerat 
dient zur Erzeugung und Qbermittlung von Orts-, Lage- und/oder 
Bewegungsdaten (d.h. raumlichen Lagekoordinaten des Interaktionsgerats) 
zur raumlich-virtuellen Navigation in der genannten Szene und in etwaigen 
Funktionselementen der Benutzungsschnittstelle sowie zur Manipulation von 
virtuellen Objekten der Szene. Das Interaktionsgerat weist dazu einen Sensor 
auf, der mit einer in dem VR-Graphiksystem vorgesehenen 
Lageerfassungssensorik uber eine Funkverbindung zusammenwirkt. Die 
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genannten Lagedaten umfassen die moglichen sechs Freiheitsgrade der 
Translation und der Rotation des Interaktionsgerats und werden zur 
Ermittlung einer Bewegungs- Oder Raumtrajektorie des Interaktionsgerats in 
Echtzeit rechnergestutzt ausgewertet. 

Benutzergefuhrte Interaktionen lassen sich grds. in einen logischen Teil und 
einen physischen Teil unterteilen. Der logische Teil ist die virtuell-raumliche 
Benutzungsschnittstelle und beinhaltet bspw. die Darstellung von Funktionen 
oder Mentis, die Methode der Selektion von Objekten oder Funktionsmodi 
und die Art der Navigation. Der physische Teil entspricht der 
geratetechnischen Realisierung, wie der technischen Gestaltung des 
Interaktionsgerats und die eingesetzte Projektionstechnologie zur Darstellung 
der Szene. 

Hinsichtlich der Verwendung der genannten Interaktionsgerate ist es 
wunschenswert, daft die genannten Interaktionen, insbesondere komplexere 
Interaktionen wie die Funktionsauswahl oder Menusteuerung, technisch 
moglichst einfach und dennoch moglichst bedienungs- und betriebssicher 
steuerbar sind. 

Die Erfindung schlagt daher ein Verfahren und eine Vorrichtung zur 
Steuerung eines hier betroffenen Graphiksystems der virtuellen Realitat (VR) 
mittels der genannten Interaktionen vor, bei denen der Erfindungsgedanke 
zugrundeliegt, zunachst ein auf der Raum- bzw. Bewegungstrajektorie des 
Interaktionsgerats angeordnetes Referenzsystem zu bilden und nachfolgende 
Interaktionen anhand dieses Referenzsystems auszuwerten. 

Die Besonderheit des erfindungsgema&en Verfahrens liegt demnach darin, 
da& durch eine erste Interaktion des Benutzers ein zunachst fixer 
Initialraumpunkt, bevorzugt zusammen mit einem zugeordneten 
Referenzkoordinatensystem auf der Raumtrajektorie des Interaktionsgerats 
festgelegt werden und daS wenigstens eine nachfolgende Interaktion mittels 
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des Interaktionsgerats relativ zu dem festgelegten Initialraumpunkt bzw. dem 
zugehorigen Referenzkoordinatensystem ausgewertet wird. 

In einer weiteren Ausgestaltung ist vorgesehen, daB der Initialraumpunkt den 
Nullpunkt bzw. Ursprung des genannten Referenzkoordinatensystems 
darstellt und in diesem Koordinatensystem Referenz- bzw. Schwellwerte 
vorgegeben werden, bei deren Oberschreitung durch die momentane 
Raumposition oder Raumorientierung des Interaktionsgerats eine bestimmte 
Funktion oder eine bestimmte Menuauswahl der virtuellen, in die aktuelle 
Szene eingeblendeten Benutzungsschnittstelle erfolgt. Diese Referenzwerte 
liegen bevorzugt auf der Oberflache eines bzgl. des Initialraumpunktes 
symmetrisch (gedacht) angeordneten geometrischen Korpers, bspw. auf . 
einer Kugeloberflache, einer Ellipsoidoberflache, einer Wurfeloberflache, 
einer Quaderoberflache, einer Tetraederoberflache oder dgl. Die 
Referenzpunkte konnen ferner in bestimmten Raumrichtungen gewichtet 
sein, um bestimmten Funktionen oder Menuauswahlpunkten unterschiedliche 
Sensitivitaten bei der raumlichen Interaktion entlang der realen 
Raumtrajektorie des Interaktionsgerats zuzuordnen, wodurch 
Fehlbedienungen oder Fehleingaben seitens eines Benutzers noch 
wirksamer vermieden werden. 

In einer anderen Ausgestaltung ist wenigstens ein weiterer Schwellwert 
vorgesehen, dessen Wert betragsma&ig groRer ist als der genannte 
wenigstens eine Referenzwert und bei dessen Oberschreitung durch die 
momentane Raumposition des Interaktionsgerats bewirkt wird, daB sich das 
Referenzkoordinatensystem bzw. der Initialraumpunkt zu der neuen 
Raumposition hinbewegt. Dies hat den Vorteil, daB die genannte vorteilhafte 
Wirkungsweise des Referenzkoordinatensystems bei der genannten 
Funktions- oder Menuauswahl auch bei (versehentlich) zu starken 
Posittonsanderungen des Interaktionsgerats bestehen bleibt. 
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Die erfindungsgemaS vorgeschlagene Vorgehensweise bzw. die ebenfalls 
vorgeschlagene Benutzungsschnittstelle bieten insbesondere den Vorteil, daR 
auch komplexe Interaktionen bspw. (iber mehrere Funktions- oder 
Menuebenen sehr intuitiv, und zwar ausschlieBlich durch rSumliche 
Bewegung des Interaktionsgerats erfolgen konnen. Lediglich die Festlegung 
des ersten Initialraumpunktes hat durch eine besondere Interaktion zu 
erfolgen, bevorzugt mittels eines an dem Interaktionsgerat angeordneten 
Steuerelementes wie bspw. einen Taster oder dgl. Dariiber hinaus wird die 
Steuerung der Benutzungsschnittstelle durch die fortwahrende Auswertung 
der genannten Trajektorie des Interaktionsgerats gegenuber den im Stand 
der Technik bekannten Interaktionssystemen in der Handhabung einfacher 
und sogar betriebssicherer. 

Die Steuerung des VR-Graphiksystems mittels des Interaktionsgerats sowie 
einer in die jeweilige Szene visuell eingeblendeten Benutzungsoberflache 
erfolgt bevorzugt entweder uber eine raumlich-visuell dargestellte 
Funktionsauswahl oder ein Menusystem, wie das bspw. in der DE 101 32 243 
A1 beschriebene Kugelmenu. 

Die Erfindung ist rnit den genannten Vorteilen einsetzbar bei kabellosen 
sowie kabelgebundenen Interaktionsgeraten, die bevorzugt von dem 
Benutzer handgefQhrt sind. Es ist hervorzuheben, daR die moglichen 
Interaktionen, neben der genannten Verwendung des Interaktionsgerats 
einschlieRlich des genannten Steuerelementes (Tasters), auch durch 
akustische oder optische Interaktionen bspw. durch Sprache, Gestik oder dgl. 
erfolgen konnen. Dabei konnen die in der Dissertationsschrift von A. RQBIer 
mit dem Titel „Ein System fur die Entwicklung von raumlichen 
Benutzungsschnittstellen" der Universitat Stuttgart, erschienen im Jost Jetter 
Verlag, Heimsheim insbesondere auf den dortigen Seiten 72 ff. (Kap. 4.3.2 ff.) 
ausfQhrlich beschriebenen Eingabemethoden zur Anwendung kommen. So 
konnen neben der Verwendung des genannten Interaktionsgerats zusatzlich 
die dort beschriebenen Interaktionsmodi wie eine direkte und indirekte, 
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mittelbare und unmittelbare sowie absolute und relative Eingabe eingesetzt 
werden, um bspw. eine ereignisorientierte Interpretation von Bewegungen 
des Interaktionsgerats oder eines Korperteils des Benutzers zu ermoglichen. 

Bei der genannten Interpretation von Gesten seitens des Benutzers lassen 
sich zudem statische und dynamische Gesten unterscheiden, wobei bei 
dynamischen Gesten die zeitliche Abfolge einer Bewegung und bei statischen 
Gesten eine relative Position oder Orientierung zwischen bspw. einzelnen 
KSrperteilen des Benutzers analysiert wird. Ferner lassen sich einfache 
Eingabeereignisse von interpretierten und kombinierten Eingabeereignissen 
unterscheiden, wobei einfache Eingabeereignisse durch diskrete Aktionen 
des Benutzers, wie bspw. die Betatigung des genannten Tasters, ausgelost 
werden, wohingegen bei interpretierten Ereignissen diese dynamisch 
interpretiert werden, bspw. unter BerQcksichtigung einer Zeitmessung wie 
bspw. bei einem doppelten Tastendruck („Doppelklick tt ). Diese beiden 
Eingabemodi konnen schiieBlich beliebig kombiniert werden, bspw. ein 
Tastendruck mit einer Hand-, Kopf- oder Gesichtsgeste. 

Das erfindungsgemafce Verfahren und die Vorrichtung werden nachfolgend 
anhand von in der Zeichnung dargestellten Ausfiihrungsbeispielen 
beschrieben, aus denen sich weitere Merkmale und Vorteile der Erfindung 
ergeben. Hierin sind identische oder funktional gleiche Merkmale mit 
iibereinstimmenden Bezugszeichen referenziert. 

In der Zeichnung zeigen 

Fig. 1 eine vereinfachte Obersichtsdarstellung eines hier betroffenen 

immersiven VR-(Virtual-ReaIity)Graphiksystems; 

Fig. 2a-c bei der physisch-raumlichen Bewegung eines in der Fig. 1 
gezeigten Interaktionsgerats typischerweise sich ergebende 
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Raumtrajektorien zur Illustration der erfindungsgemafcen 
Vorgehensweise bei der Auswertung dieserTrajektorien; und 

Fig. 3 die Illustration einer erfindungsgemafcen Routine zur Steuerung 

eines hier betroffenen Interaktionsgerats anhand eines 
FluBdiagramms. 

Das in der Fig. 1 schematisch dargestellte VR-Graphiksystem weist einen 
Projektionsschirm 100 auf, vor dem eine Person (Benutzer) 105 steht, urn die 
dortige uber einen Projektor 110 erzeugte Szene 115 mittels einer 
stereoskopischen Brille 120 zu betrachten. Anstelle der stereoskopischen 
Brille 120 konnen vorliegend selbstverstandlich auch auto-stereoskopische 
Bildschirme Oder dgl. zur Anwendung kommen. Zudem konnen der 
Projektionsschirm 100, der Projektor 110 sowie die Brille 120 vorliegend 
durch einen an sich bekannten Datenhelm ersetzt werden, welcher dann alle 
drei Funktionen beinhaltet. 

Der Benutzer 105 halt ein Interaktionsgerat 125 in der Hand, urn bevorzugt 
absolute Lagedaten wie die raumliche Position und Orientierung des 
Interaktionsgerats im physischen Raum zu erzeugen und an eine 
Lageerfassungssensorik 130 - 140 zu ubermitteln. Alternativ konnen 
allerdings auch relative oder differentielle Lagedaten verwendet werden, 
worauf es in dem vorliegenden Zusammenhang aber nicht ankommt. 

Das Interaktionsgerat 125 umfa&t ein Lageerkennungssystem 145, bevorzugt 
eine Anordnung von optischen Messystemen 145, mittels derer sowohl die 
Absolutwerte der drei moglichen Drehwinkel als auch die Absolutwerte der in 
den moglichen drei Raumrichtungen moglichen translatorischen Bewegungen 
des Interaktionsgerats 125 erfafct und von einem Digitalrechner 150 in der 
nachfolgend beschriebenen Weise in Echtzeit verarbeitet werden. Alternativ 
konnen diese Lagedaten mittels Beschleunigungssensoren, Gyroskopen oder 
dgl. erfaBt werden, welche dann i.d.R. nur relative oder differentielle 
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Lagedaten liefern. Da es auf diese Sensorik vorliegend nicht ankommt, wird 
hier von einer eingehenderen Beschreibung abgesehen und auf die eingangs 
genannten Druckschriften verwiesen. 

Die genannten absoluten Lagedaten werden von einem rnit dem 
Interaktionsgerat 125 verbundenen Rechnersystem erzeugt. Sie werden dazu 
an einen Mikroprozessor 160 eines Digitalrechners 150 ubertragen, in dem 
unter anderem die notwendigen als dem Fachmann gelaufig anzunehmenden 
graphischen Auswerteprozesse zur Erzeugung der stereoskopisch- 
raumlichen Szene 115 ausgefuhrt werden. Die raumliche Szenendarstellung 
115 dient insbesondere der Visualisierung von Objektmanipulationen, def 
raumlichen Navigation in der gesamten Szene sowie der Darstellung von 
Funktionsauswahlstrukturen und/oder Menustrukturen. 

Das Interaktionsgerat 125 ist in dem vorliegenden Ausfuhrungsbeispiel mit 
dem Digitalrechner 150 mittels eines dort angeordneten Empfangsteils 165 
uber eine Funkverbindung 170 datenleitend verbunden. Die von den 
Sensoren 145 an die Lageerfassungssensorik 130-140 Qbertragenen 
Lagedaten werden ebenfalls drahtlos per Funkstrecken 175-185 
ubertragen. 

Zusatziich eingezeichnet sind die Kopfposition (KP) des Benutzers 105 sowie 
dessen Blickrichtung (BR) 190 auf den Projektionsschirm 100 bzw. die dort 
projizierte Szene 115. Diese beiden GrolJen sind insoweit fur die Berechnung 
einer aktuellen stereoskopischen Projektion von Bedeutung, als sie die 
notwendige Szenenperspektive wesentlich mitbestimmen, da die Perspektive 
in an sich bekannter Weise auch von diesen beiden Grofcen abhangt. 

Das Interaktionsgerat 125 umfa&t in dem vorliegenden Ausfuhrungsbeispiel 
einen Taster 195, mittels dessen der Benutzer 105, zusatziich zu den 
genannten Bewegungsmoglichkeiten des Interaktionsgerats 125 im Raum, 
mechanisch eine Interaktion auslosen kann, wie nachfolgend anhand der Fig. 
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3 beschrieben. Es versteht sich, dafc altemativ auch zwei oder mehrere 
Taster angeordnet sein konnen, urn ggf. unterschiedliche Interaktionen zu 
ermoglichen. 

Das zentrale Element des gezeigten immersiven VR-Graphiksystems ist die 
mittels der Lageerfassungssensorik 130-140 gefQhrte (getrackte) 
stereoskopische Darstellung der jeweiligen dreidimensionalen Szenendaten 
115. Die Perspektive der Szenendarstellung ist dabei vom Betrachter- 
Standpunkt bzw. von der Kopfposition (KP) und der Blickrichtung (BR) 
abhangig. Die Kopfposition (KP) wird dazu uber ein (hier nicht dargestelltes) 
dreidimensionales Positionsmefcsystem kontinuierlich gemessen und die 
Geometrie der Sichtvolumina fur beide Augen entsprechend dieser 
Positionswerte angepaftt. Dieses PositionsmeSsystem umfaSt eine ahnliche 
Sensorik wie das genannte Lageerfassungssystem 130-140 und kann ggf. 
in dieses integriert sein. FQr jedes Auge wird ein separates Bild aus der 
jeweiligen Perspektive berechnet. Der Unterschied (Disparitat) bewirkt die 
stereoskopische Tiefenwahrnehmung. 

Als Interaktion vorliegend seitens eines Benutzers wird jede Aktion des 
Benutzers bevorzugt mittels des genannten Interaktionsgerats 125 
verstanden. UmfaRtsind dabei die Bewegung des Interaktionsgerats 125 auf 
einer in den Figuren 2a - 2c gezeigten Raumtrajektorie und die Betatigung 
eines oder mehrerer an dem Interaktionsgerat 125 angeordneten Taster 195. 
Zusatzlich umfafct sein konnen akustische Aktionen des Benutzers wie bspw. 
eine Spracheingabe oder eine durch Gestik bestimmte Aktion. 

In den Figuren 2a - 2c sind nun typische, bei der Bewegung des 
vorbeschriebenen Interaktionsgerats 125 sich ergebende Raumtrajektoren 
200 dargestellt. Es ist hervorzuheben, daB in den Figuren 2a - 2c zu 
Vereinfachungszwecken nur ein zweidimensionaler Schnitt des eigentlich 
dreidimensionalen Ansatzes gezeigt ist. Dabei sind bspw. darzustellende 
Kugelschalen zu Linien entartet. Die jeweilige Bewegungsrichtung entlang 
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des Trajektorienverlaufs ist durch Pfeile 203 angedeutet. Es sei 
angenommen, daB der in dieser Darstellung nicht gezeigte Benutzer 105 
jeweils am Punkt 205 sowie den Punkten 205', 205", 205'" der Trajektorie 
bspw. mittels des Tasters 195 dem VR-Graphiksystem (Fig. 1) signalisiert,, 
da(S ein Initialraumpunkt (IRP) 205 mit einem zugeordneten 
Referenzkoordinatensystem 210 festgelegt werden soil. Die dem IRP 
entsprechenden und, wie vorbeschrieben, mittels der 
Lageerfassungssensorik 130-140 bestimmten Raumkoordinaten werden 
dabei per Funk an den Digitalrechner 150 ubermittelt. Fortan werden die 
weiteren Punkte auf der Trajektorie 200 in Relation zu diesem IRP, quasi in 
neuen Relativkoordinaten, berechnet. 

Gleichzeitig mit der Festlegung des Referenzkoordinatensystems 210 werden 
zwei urn den IRP 205 angeordnete Schalen berechnet, und zwareine innere 
Schale 215 mit entsprechenden Schalensegmenten 217 sowie eine 
zusammenhangende, d.h. nicht in solche Schalensegmente unterteilte 
auBere Schale 220. Es ist hervorzuheben, daB die gezeigten Schalen im 
technischen Sinne nur Hilfsmittel bei der Berechnung der genannten 
Schwellwerte bzw. bei der Berechnung bzw. Erfassung des Gberschreiten 
dieser Schwellwerte durch die Raumtrajektorie des Interaktionsgerats 125 
darstellen und diese Schalen daher in der Szene visuell nicht in Erscheinung 
treten. Die innere Schale 215 definlert den eingangs genannten ersten 
Schwellwert, wohingegen die auBere Schale den genannten zweiten 
Schwellwert reprasentiert. 

Die genannten Schalensegmente 217 der inneren Schale 215 dienen dazu, 
daB bei ihrem DurchstoBen von der Trajektorie 200 automatisch Aktionen 
bevorzugt in einem MenGsystem einer in der gegenwartigen Szene 
visualisierten Benutzungsoberflache ausgelost werden, und zwar Aktionen 
wie das Offnen eines neuen Menupunktes oder die Selektion einer Funktion 
oder eines Funktionsmodus aus einer Vielzahl angebotener Funktionen bzw. 
Funktionsmodi. Als MenOsystem kommen grds. alle bekannten und 



WO 2005/029306 



11 



PCT/DE2004/002077 



denkbaren Erscheinungsformen in Betracht, wie bspw. kugel- Oder ellipsoid- 
basierte Menus, wurfel- Oder quader-basierte Menus Oder flach ausgebildete 
transparente Textmenus. Die genaue Funktionsweise solcher Menusysteme 
zur Selektion von Funktionsmodi oder dgl. ist in den beiden eingangs 
genannten Druckschriften ausfuhrlich beschrieben und daher werden diese 
Druckschriflen in dem vorliegenden Zusammenhang insoweit vollumfanglich 
in Bezug genommen. 

Der in der Fig. 2a gezeigte Trajektorienverlauf entspricht einem Szenario, bei 
dem der Benutzer wahrend der Bewegung des Interaktionsgerats 125 den 
Taster 195 betatigt, urn eine MenQauswahl durchzufOhren. In diesem Fall 
bewirkt das Betatigen des Tasters auch, daft in die Szene 1 15 visuell ein 
Menusystem eingeblendet wird. Die genaue Position dieser Einblendung auf 
dem Projektionsschirm 100 wird in Abhangigkeit von der Blickrichtung (BR) 
190 und/oder der Kopfposition (KP) des Benutzers 105 festgelegt. Dabei 
kann vorgesehen sein, daft die Blickrichtung (BR) und/oder die Kopfposition 
(KP) kontinuierlich oder zeitweilig erfasst wird und daft die genaue Position, 
an der das Menusystem oder das Funktionsauswahlsystem eingeblendet 
wird, in Abhangigkeit von der erfassten Blickrichtung (BR) und/oder der 
erfassten Kopfposition (KP) bestimmt wird. 

In dem vorliegenden AusfUhrungsbeispiel handelt es sich aus 
Symmetriegrunden (Kugelsymmetrie der oben beschriebenen Schalen) 
ebenfalls bevorzugt urn ein kugelsymmetrisches Menusystem wie bspw. ein 
Kugelmenu. Es versteht sich, daft die in den Figuren 2a - 2c gezeigten 
Kugelschalen nur beispielhaft sind und auch durch wurfelformige, 
quaderformige oder ellipsoide Schalen gebildet sein konnen. So bieten sich 
kubisch-symmetrische Schalenformen bspw. bei ebenfalls kubisch- 
symmetrischen (wOrfelformigen, quaderformigen oder textformigen) 
Menusystemen an. 
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Die in der Fig. 2a gezeigte Trajektorie 200 durchstSBt die innere Schale 215 
zum ersten Mai im Bereich eines ersten Kugelschalensegments 218. Dadurch 
wird eine erste Menu- oder Funktionsauswahl ausgelost. Die Trajektorie 200 
tritt danach in Hohe dieses Segments 218 wieder in den Innenbereich der 
Schale 215 ein, urn diese in Hohe eines zweiten Kugelschalensegments 222 
erneut zu durchstoBen und damit eine weitere Funktionsauswahl auszulosen. 
Auf den weiteren durch Punkte angedeuteten Verlauf der Trajektorie 200 
kommt es vorliegend nicht mehr an. 

Es versteht sich, daB die in den Figuren 2a - 2c gezeigten 
Schwellwertflachen in der einfachsten 

Ausgestaltung auch durch skalare Schwellwerte gebildet sein konnen, bspw. 
im Falle eines kubischen Referenzkoordinatensystems anstelle des hier 
gezeigten kugelformigen Koordinatensystems, wobei in jeder der drei 
Raumrichtungen nur ein einziger skalarer Schwellwert festgelegt werden 
muS. 

In der Fig. 2b ist ein Trajektorienverlauf dargestellt, bei dem die Trajektorie 
200 nach der Festlegung des IRP 205 zunachst die innere Schale 215 im 
Bereich eines Kugelschalensegments 219 durchstdBt, wodurch wiederum 
eine Funktionsauswahl oder dgl. ausgelost wird. Im Unterschied zur Fig. 2a 
durchstoBt die Trajektorie im AnschluB daran auch die auBere Schale, und 
zwar in dem gezeigten Punkt 225. Dieses DurchstoBen der auBeren Schale 
bewirkt das bereits genannte automatische Nachfuhren des 
Referenzkoordinatensystems 210, wobei in dem vorliegenden 
Ausfuhrungsbeispiel der IRP 205 zum genannten DurchstoBpunkt, d.h. 
vorliegend zum Punkt 225, verschoben wird. 

In einer alternativen Ausgestaltung folgt der IPR inkrementell (d.h. in 
inkrementell Schritten bzw. nahezu sukzessive) der Trajektorie, wobei 
entweder die auBere Schale zu einer Schale mit einem geringeren 
Durchmesser als die innere Schale entartet ist oder wobei der IPR ab dem 
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genannten DurchstoBpunkt 225 der weiterfiihrenden Trajektorie jeweils 
inkrementell folgt. Wie bereits gesagt, weist die au&ere Schale keine 
Segmentierung auf, da durch sie keine benutzungsspezifischen Ereignisse 
ausgelost werden sollen, sondern lediglich das genannte Nachfuhren des 
gesamten Referenzkoordinatensystems 210. 

Anhand der Fig. 2c soli schlieBIich illustriert werden, was geschieht, wenn das 
Interaktionsgerat 125 nach einer bereits erfolgten Festlegung eines IRP 205 
uber einen langeren Weg bewegt wird, bspw. dadurch bedingt, daB sich der 
Benutzer nach einer bereits erfolgten Aktivierung eines MenQsystems vor 
dem Projektionsschirm 100 uber einen groBeren Weg bewegt. Wie aus der 
vorhergehenden Beschreibung folgt, bewirkt das wiederholte Verlassen der 
auBeren Schale 220 ein wiederholtes, in dem vorliegenden 
Ausfuhrungsbeispiel dreimaliges Nachfuhren des IRP 205, jeweils 
resultierend in IRPs 205', 205" und 205"' bzw. des diesem zugeordneten 
Referenzkoordinatensystems 210, jeweils resultierend in entsprechend 
verschobenen vorliegend gestrichelt dargestellten 
Referenzkoordinatensystemen 210', 210" und 210'". 

Es ist anzumerken, daB die in den Figuren 2a - 2c gezeigte physische 
Raumtrajektorie verallgemeinernd entweder durch eine reine 
Translationsbewegung oder eine reine Rotationsbewegung des 
Interaktionsgerats 125 reprasentiert Oder aber durch eine Kombination dieser 
beiden Bewegungsarten reprasentiert sein kann. Im Falle von solchen 
Rotationsbewegungen des Interaktionsgerats zur Auslosung bestimmter 
Interaktionen mit einem vorbeschriebenen Menusystem oder zur Manipulation 
von virtuellen Objekten der Szene 115 kann zusatzlich vorgesehen sein, daB 
die Interaktion erst dann ausgelost wird, wenn wenigstens eine zweite 
Interaktion, insbesondere mittels des Steuerelementes, ausgelost worden ist. 
Hierdurch wird in vorteilhafter Weise verhindert, daB bereits eine kleine 
moglicherweise unerwunschte Drehung des Interaktionsgerats 125 eine 
Interaktion auslQst. Zudem wird ermoglicht, daB Drehungen des 
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Interaktionsgerats 125 wieder rOckgangig gemacht werden konnen, ohne 
bereits eine Interaktion in dem VR-Graphiksystem ausgelostzu haben. 

Die Fig. 3 zeigt nun ein Ausfuhrungsbeispiel einer erfindungsgemafcen 
Routine zur Auswertung des raumlichen Verlaufs einer wie in den Figuren 2a 
- 2c angenommenen Trajektorie. Nach dem Start 300 der Routine, der 
bevorzugt durch das Einschalten des VR-Graphiksystems Oder durch eine 
etwa nachfolgende Aktivierung des Interaktionsgerats 125 ausgelost wird, 
befindet sich die Routine zunachst in einer Warteschleife, in der kontinuierlich 
oder zeitweilig abgefragt wird 305, ob der Benutzer eine Interaktion 
ausgefuhrt hat, um an der momentanen Raumposition des Interaktionsgerats 
ggf. einen vorbeschriebenen Initialraumpunkt IRP 205 festzulegen. Diese 
Jnitiale" Interaktion erfolgt bevorzugt mittels des vorbeschriebenen Tasters 
195, kann allerdings auch in der eingangs beschriebenen Weise durch 
Sprache, Gestik oderdgl. erfolgen. 

Wird eine solche initiale Interaktion festgestellt, wird in Schritt 310 zunachst 
das genannte Referenzkoordinatensystem 210 bestimmt, wobei der 
Koordinatenursprung durch den IRP 205 gebildet wird. In anschlieftenden 
Schritten 315 und 320 werden in dem Referenzkoordinatensystem 210 die 
Referenzpunkte oder Referenzflachensegmente 217 der genannten ersten 
Schwelle 21 5 sowie die zweite Schwellenflache 220 bestimmt. 

An die genannten Schritte schlieBt sich wieder eine Schleife an, in der 
zunachst die aktuelle Position des Interaktionsgerats 125 erfafct wird 325. 
Danach wird gepruft 330, ob der erfafcte Wert der aktuellen Position 
auISerhalb des genannten ersten Schwellenwerts bzw. des Wertes des 
vorliegenden Referenzflachensegments 217 liegt. 1st diese Bedingung 330 
nicht erfullt, dann springt die Routine zuruck zu Schritt 325, um einen neuen 
aktuellen Positionswert des Interaktionsgerats 125 zu erfassen. 1st die 
Bedingung 330 allerdings erfullt, dann hat die Trajektorie die erste 
Schwellenflache 215 durchstofcen. In diesem Fall wird zunachst noch gepruft 
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335, welcher Referenzpunkt bzw. welches Referenzflachensegment in dem 
Referenzkoordinatensystem davon betroffen ist. In Abhangigkeit von dem 
Ergebnis der letzten Prufung 335 wird dann die entsprechende Funktions- 
oder Menuauswahl ausgelost 340. 

In dem besonderen Fall, dafc die ausgeloste Funktion eine die gesamte 
Routine beendende Funktion ist, was in Schritt 342 zusatzlich geprQft wird, 
wird zu Schritt 343 gesprungen, in dem die Routine dann beendet wird. 

In dem Fall, dali die Trajektorie die erste Schwellenflache 215 tatsachlich 
durchstofcen hat, wird weiter gepruft 345, ob die Trajektorie bereits auch die 
zweite Schwellenflache 220 durchstoBen hat. D.h. es wird auch hier gepruft 
345, ob der Wert der aktuellen Position des Interaktionsgerats 125 in den 
vorliegenden Referenzkoordinaten betragsmafcig den Wert der zweiten 
Schwelle uberschreitet. Ist diese Bedingung nicht erfullt, dann wird wieder zu 
Schritt 325 zuruckgesprungen und ein neuer Positionswert des 
Interaktionsgerats 125 erfalit. Andernfalls wird das 
Referenzkoordinatensystem bzw. dessen mit dem IRP 205 
zusammenfallender Urspung 350 nachgefuhrt bzw. an die derzeitige Position 
der Trajektorie des Interaktionsgerats 125 ggf. inkrementell verschoben. 

Es ist schliefclich anzumerken, daS das vorbeschriebene Konzept des 
initialen Raumpunktes (IRP) grds. auch Benutzungsschnittstellen umfaSt, bei 
denen die Interaktion mittels einer reinen Rotation des Interaktionsgerats 125 
oder einer Kombination aus einer reinen Translation und einer reinen 
Rotation erfolgt. Im Falle einer Rotation kann der IRP als initialer Raumwinkel 
cp = 0° eines gedachten Kugel- oder Zylinderkoordinatensystems verstanden 
werden. Dabei konnen die beschriebenen beiden Schwellwerte durch diskrete 
Winkel wie bspw. cp = 90° bzw. cp = 180° gebildet sein, wobei dann bei einer 
Qberschreitung von cp = 180° das genannte Koordinatensystem bspw. urn den 
Winkel cp = 180° nachgefuhrt wird. 



WO 2005/029306 



16 



PCT/DE2004/002077 



Patentanspriiche 

1 . Verfahren zur Steuerung eines Graphiksystems der virtuellen Realitat 
(VR) mittels Interaktionen, wobei das VR-Graphiksystem eine 
Projektionseinrichtung zur Visualisierung virtuell-raumlicher Szenen 
aufweist und wobei die Interaktionen mit dem VR-Graphiksystem 
mittels wenigstens eines Interaktionsgerats erfolgen, welches zur 
Erfassung der jeweiligen Position und/oder Orientierung des 
Interaktionsgerats auf einer physischen Raumtrajektorie und zur 
Erzeugung von entsprechenden Lagedaten und zur Ubermittlung 
dieser Lagedaten an eine Lageerfassungseinrichtung das VR- 
Graphiksystems dient, dadurch gekennzeichnet, daB ein initialer 
Raumpunkt auf der physischen Raumtrajektorie des Interaktionsgerats 
festgelegt wird und daB eine Auswertung wenigstens einer 
nachfolgenden Interaktion relativ zu dem festgelegten initialen 
Raumpunkt erfolgt. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daR mittels des 
initialen Raumpunktes Referenzkoordinaten festgelegt werden, wobei 
die Auswertung der wenigstens einen nachfolgenden Interaktion relativ 
zu diesen Referenzkoordinaten erfolgt 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daB 
mittels des initialen Raumpunktes und/oder mittels der 
Referenzkoordinaten wenigstens ein Schwellwert oder eine erste 
Schwellwertflache gebildet wird, bei dessen oder deren 
Qberschreitung durch die physische Raumtrajektorie wenigstens eine 
Aktion oder Funktion des VR-Graphiksystems ausgelost wird. 

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daB die erste 
Schwellwertflache wenigstens zwei unterschiedliche Schwellenwerte 
definiert, mittels derer eine Gewichtung bei der Auslosung der 
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wenigstens einen Aktion oder Funktion des VR-Graphiksystems 
erfolgt. 

5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, daft die 
erste Schwellwertflache durch einen symmetrischen Raumkorper, 
insbesondere eine Kugei, einen Ellipsoid, einen Wurfel, einen Quader 
oder dgl. gebildet wird. 

6. Verfahren nach einem der Anspruche 1 bis 5, dadurch 
gekennzeichnet, daft mittels des initialen Raumpunktes und/oder der 
Referenzkoordinaten wenigstens eine zweite Schwellwertflache 
gebildet wird, deren Wert im Wesentlichen grofter als der Wert der 
ersten Schwellwertflache, bei deren Oberschreitung durch die 
physische Raumtrajektorie eine Verschiebung des Nullpunktes der 
Referenzkoordinaten in Richtung der Raumtrajektorie ausgelost wird. 

7. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, daft die Festlegung des initialen Raumpunktes mittels 
einer ersten Interaktion erfolgt. 

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daft die erste 
Interaktion mittels des Interaktionsgerats, insbesondere mittels eines 
an dem Interaktionsgerat angeordneten Steuerelements, oder mittels 
einer akustischen, sprachlichen oder gestischen Interaktion seitens 
eines Benutzers erfolgt. 

9. Verfahren nach einem der vorhergehenden Anspruche zur 
Anwendung in einem wenigstens ein raumlich-virtuelles MenOsystem 
oder Funktionsauswahlsystem aufweisenden VR-Graphiksystem, 
dadurch gekennzeichnet, daft die wenigstens eine nachfolgende 
Interaktion zur Steuerung des Menusystems oder des 
Funktionsauswahlsystems dient. 
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10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daB das 
Menusystem oder das Funktionsauswahlsystem aufgrund der ersten 
Interaktion in Abhangigkeit von der Blickrichtung und/oder der 
Kopfposition eines das Interaktionsgerat haltenden Benutzers in 
Bezug auf die Projektionseinrichtung in die virtuelle Szene 
eingeblendet wird, dad die Blickrichtung und/oder die Kopfposition 
kontinuierlich oder zeitweilig erfasst wird oder werden und daft die 
Position an der Projektionseinrichtung, an der das Menusystem oder 
das Funktionsauswahlsystem eingeblendet wird oder werden, in 
Abhangigkeit von der erfassten Blickrichtung und/oder der erfassten 
Kopfposition bestimmt wird. 

1 1 . Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dafc 
eine durch eine Rotationsbewegung des Interaktionsgerats zu 
bewirkende Aktion oder Funktion erst dann ausgelost wird, wenn 
wenigstens eine zweite Interaktion, insbesondere mittels des 
Steuerelementes, ausgefuhrt wird. 

12. Raumliche Benutzungsschnittstelle zur Steuerung eines 
Graphiksystems der virtuellen Realitat (VR) mittels Interaktionen, 
wobei das VR-Graphiksystem eine Projektionseinrichtung zur 
Visualisierung virtuell-raumlicher Szenen aufweist und wobei die 
Interaktionen mit dem VR-Graphiksystem mittels wenigstens eines 
Interaktionsgerats erfolgen, welches zur Erfassung der jeweiligen 
Position und/oder Orientierung des Interaktionsgerats auf einer 
physischen Raumtrajektorie und zur Erzeugung von entsprechenden 
Lagedaten und zur Obermittiung dieser Lagedaten an eine 
Lageerfassungseinrichtung das VR-Graphiksystems dient, 
gekennzeichnet durch Mittel zur Erzeugung eines initialen 
Raumpunktes auf der physischen Raumtrajektorie des 
Interaktionsgerats und zur Auswertung wenigstens einer 
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nachfolgenden Interaktion relativ zu dem festgelegten initialen 
Raumpunkt. 

13. Benutzungsschnittstelle nach Anspruch 12, gekennzeichnet durch 
Mittel zur Berechnung von virtuellen Referenzkoordinaten in 
Abhangigkeit des initialen Raumpunktes und zur Auswertung der 
wenigstens einen nachfolgenden Interaktion relativ zu diesen 
Referenzkoordinaten. 

14. Benutzungsschnittstelle nach Anspruch 13, gekennzeichnet durch 
Mittel zur Berechnung wenigstens eines Schwellwerts oder einer 
ersten Schwellwertflache in Abhangigkeit von den 
Referenzkoordinaten und Mittel zur Auslosung einer Aktion oder 
Funktion des VR-Graphiksystems bei einer Oberschreitung des 
Schwellwerts oder der ersten Schwellwertflache durch die physische 
Raumtrajektorie. 

15. Benutzungsschnittstelle nach einem der Anspruche 12 bis 14, 
gekennzeichnet durch Mittel zur Berechnung wenigstens einer zweiten 
Schwellwertflache in Abhangigkeit von den Referenzkoordinaten, 
deren Wert im Wesentlichen groBer als der Wert der ersten 
Schwellwertflache, sowie Mitteln zur Verschiebung des Nullpunktes 
der Referenzkoordinaten in Richtung der Raumtrajektorie bei einer 
Oberschreitung der zweiten Schwellwertflache durch die physische 
Raumtrajektorie. 

16. Graphiksystem der virtuellen Realitat (VR) arbeitend nach dem 
Verfahren nach einem der Anspruche 1 bis 11 und/oder aufweisend 
eine Benutzungsschnittstelle nach einem der Anspruche 12 bis 15. 



